Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations
揭秘 On-Policy 蒸馏：角色、病理与调控
🧭 LLM 训练 · On-Policy 知识蒸馏
The Chinese University of Hong Kong · Tencent AI Lab
系统分析 OPD 作为探索催化剂的两大病理（师生失配与长度剥削），并提出简易信号调控予以克服
📌 工作参考价值（4 点）
- 蒸馏信号质量比教师规模更关键：在电商搜索/推荐场景蒸馏大模型（如生成式推荐理由、查询词）时，应优先保障 token 级监督信号的准确性，而非盲目使用更大教师模型。
- 防止长度剥削的方法可直接复用：当学生模型通过生成长度作弊（如冗余填充或过早截断）优化时，可引入 advantage clipping 与 log-scale compression 来消除长度相关性，使优化目标重回推理质量，这对生成式推荐、对话 Agent 等任务尤其有效。
- Prompt 多样性优先于单问题采样数量：在构造 OPD 训练数据时，增加样本多样性比增加同一 prompt 的采样次数更能提升探索效率，可指导搜索推荐场景中的指令数据扩增。
- 在推荐 Agent 训练中采用类似信号调控：若使用 OPD 训练基于 LLM 的推荐 Agent 与学生模型，可借鉴本文的轻量级信号修正手段，规避师生不匹配导致的错误引导。